Semi - Automating Forestry Machines Motion Planning , System Integration , and Human - Machine Interaction

The process of forest harvesting is highly mechanized in most industrialized countries, with felling and processing of trees performed by technologically advanced forestry machines. However, the maneuvering of the vehicles through the forest as well as the control of the on-board hydraulic boom crane is currently performed through continuous manual operation. This complicates the introduction of further incremental productivity improvements to the machines, as the operator becomes a bottleneck in the process. A suggested solution strategy is to enhance the production capacity by increasing the level of automation. At the same time, the working environment for the operator can be improved by a reduced workload, provided that the human-machine interaction is adapted to the new automated functionality. The objectives of this thesis are 1) to describe and analyze the current logging process and to locate areas of improvements that can be implemented in current machines, and 2) to investigate future methods and concepts that possibly require changes in work methods as well as in the machine design and technology. The thesis describes the development and integration of several algorithmic methods and the implementation of corresponding software solutions, adapted to the forestry machine context. Following data recording and analysis of the current work tasks of machine operators, trajectory planning and execution for a specific category of forwarder crane motions has been identified as an important first step for short term automation. Using the method of path-constrained trajectory planning, automated crane motions were demonstrated to potentially provide a substantial improvement from motions performed by experienced human operators. An extension of this method was developed to automate some selected motions even for existing sensorless machines. Evaluation suggests that this method is feasible for a reasonable deviation of initial conditions. Another important aspect of partial automation is the human-machine interaction. For this specific application a simple and intuitive interaction method for accessing automated crane motions was suggested, based on head tracking of the operator. A preliminary interaction model derived from user experiments yielded promising results for forming the basis of a target selection method, particularly when combined with some traded control strategy. Further, a modular software platform was implemented, integrating several important components into a framework for designing and testing future interaction concepts. Specifically, this system was used to investigate concepts of teleoperation and virtual environment feedback. Results from user tests show that visual information provided by a virtual environment can be advantageous compared to traditional video feedback with regards to both objective and subjective evaluation criteria. Delautomatisering av skogsmaskiner: Rörelseplanering, systemintegration och människa-maskin-interaktion Simon Westerberg Sammanfattning Skogsavverkningsprocessen är i hög grad mekaniserad i de flesta industriländer, där avverkning och bearbetning av träd utförs med hjälp av högteknologiska skogsmaskiner. För nuvarande sker dock framförandet av dessa fordon, likväl som manövrerandet av deras hydrauliska kranar, genom kontinuerlig manuell styrning. Detta försvårar ett inkrementellt införande av produktivitetsförbättrande åtgärder, eftersom föraren blir en flaskhals i processen. En föreslagen lösningsstrategi är att öka produktionskapaciteten genom att höja automationsnivån. På samma gång kan arbetsmiljön för operatören förbättras genom minskad arbetsbelastning, förutsatt att interaktionen mellan människa och maskin anpassas till de nya automatiserade funktionerna. Målen med denna avhandling är 1) att beskriva och analysera den nuvarande avverkningsprocessen och att lokalisera de områden av förbättringar som kan genomföras i nuvarande maskiner, och 2) att undersöka framtida metoder och koncept som eventuellt kräver ändringar i såväl arbetssätt som i maskinens konstruktion och teknikanvändning. Avhandlingen beskriver utvecklingen och integreringen av flera algoritmiska metoder samt genomförandet av motsvarande mjukvarulösningar, anpassade till det sammanhang som skogsmaskinerna befinner sig i. Efter registrering och analys av maskinförarnas nuvarande arbetsuppgifter har planeringen och utförandet av en viss kategori skotarkranrörelser identifierats som ett viktigt första steg för automation på kortare sikt. Användning av metoden banbegränsad rörelseplanering (path-constrained trajectory planning) har visat att automatiserade kranrörelser potentiellt kan ge en väsentlig förbättring jämfört med rörelser som utförs av erfarna mänskliga operatörer. En utvidgning av denna metod har utvecklats för att automatisera en utvald mängd rörelser även för existerande sensorlösa maskiner. En utvärdering av metoden visar att denna metod är genomförbar vid avvikande initialtillstånd. En annan viktig sida av automatiseringen är människa-maskin-interaktion. För att föraren enkelt ska kunna aktivera de automatiserade kranrörelserna presenteras en interaktionsmetod baserad på avläsning av förarens huvudrörelser. En preliminär interaktionsmodell härledd från användarexperiment visar lovande resultat för att kunna utgöra grunden till en metod för att bestämma kranrörelsens slutposition. Vidare har en modulär mjukvaruplattform implementerats, där flera viktiga komponenter integreras i ett ramverk för utformning och testning av framtida interaktionskoncept. Detta system har särskilt används för att undersöka begreppen fjärrstyrning (teleoperation) och återkoppling med hjälp av virtuella miljöer. Resultat från användartester visar att visuell information som tillhandahålls av en virtuell miljö kan vara fördelaktig jämfört med traditionell videoåterkoppling med avseende på både objektiva och subjektiva bedömningskriterier. List of Publications Parts of the contributions presented in this thesis have previously appeared in peer-reviewed journals or conferences. Four of the publications, including one manuscript, are reproduced in the second part of this thesis, and will be referred to by Roman numerals (I–IV). I. U. Mettin, S. Westerberg, A. Shiriaev, and P. La Hera. Analysis of human-operated motions and trajectory replanning for kinematically redundant manipulators. In Proceedings of the 2009 IEEE/RSJ International Conference on Intelligent Robots and Systems, pp. 795–800, St. Louis, USA, Oct. 2009. II. D. Ortíz Morales, S. Westerberg, P. La Hera, U. Mettin, L. Freidovich, A. Shiriaev. Increasing the Level of Automation in the Forestry Logging Process with Crane Trajectory Planning and Control. Journal of Field Robotics, Volume 31, Issue 3, pp. 343–363, 2014. DOI: 10.1002/rob.21496 III. S. Westerberg, A. Shiriaev. Modeling of head orientation for applications in manipulator control. 2014. Submitted manuscript. IV. S. Westerberg, A. Shiriaev. Virtual environment-based teleoperation of forestry machines: Designing future interaction methods. Journal of Human-Robot Interaction, Volume 2, Issue 3, pp. 84–110, 2013. DOI: 10.5898/jhri.v2i3.145